Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks
无需视觉即可准确：诊断视频 LLM 基准的视觉依赖解离
🧭 视频LLM基准的视觉依赖性诊断
Purdue University
提出视觉依赖差距(VDG)审计视频LLM，发现模型黑屏下准确率相当，帧多样性而非时序贡献视觉增益
📌 工作参考价值（4 点）
- 在评估推荐/Agent模型时，引入“黑屏基线”（无输入/随机基线）隔离语言先验，避免高估新增特征贡献
- 设计消融阶梯（如传感器剥离、序列乱序）量化各信息源增益，借鉴FPS与帧序消融思路定位模型真正依赖的信号
- 警惕对话Agent或文案生成中的语言模式作弊，用黑屏测试验证模型是否依赖视觉/结构化输入而非纯文本补全
- API与开源模型的VDG差异（0.025~0.315）提示私有模型可能更依赖非视觉捷径，选型时需定制诊断基准